Het château des Comtes is het enige overblijfsel van de burgerlijke architectuur van voor de 19de eeuw in deze stad, het pronkstuk van Moeskroen.
In de Middeleeuwen is het grondgebied van Moeskroen over drie heerlijkheden verdeeld. De heerlijkheid van Moeskroen behoort toe aan de heren van Oudenaarde. In 1332 wordt zij aan de familie de la Barre verkocht. Op dat ogenblik is de heerlijkheid niet veel meer dan een geheel van gronden en lenen, zonder eigenlijk kasteel. Het eerste kasteel, zetel van het leen van de Ramées, lag op enkele honderden meters van de plaats van het huidige kasteel. Het werd in 1340 vernield en nog voor 1359 vervangen door een bouwwerk op de plek waar het huidige kasteel staat. Het werd de zetel van de heerlijkheid van Moeskroen toen het leen van de Ramées in 1430 werd afgestaan.
In 1627 wordt de heerlijkheid van Moeskroen verheven tot graafschap. De eerste graaf van Moeskroen is Ferdinand Georges de Liedekerke. De opvolgers van de familie de Liedekerke zijn de familie de Basta en de markies van Ennetières. In die periode krijgt het kasteel het hard te verduren, onder meer tijdens de Godsdienstoorlogen in de 16de eeuw, en de oorlogen van Lodewijk XIV op het einde van de 17de en in de 18de eeuw. Het grootste deel van het kasteel dateert trouwens uit die periode. In 1801 stort de donjon in. De ophaalbrug wordt halfweg de 19de eeuw vervangen door de huidige brug. In 1918, wanneer de Britten de stad bevrijden, ruïneren obussen een groot deel van de oude burcht.
Het sinds 1945 geklasseerde gebouw komt in 1960 in handen van het gemeentebestuur van Moeskroen. Het lang verwaarloosde gebouw werd gerestaureerd en biedt nu plaats aan culturele evenementen.